Extending LLM Context via Associative Recurrent Memory
通过关联递归记忆扩展大语言模型上下文
🧭 递归记忆增强的 LLM 长上下文扩展
MBZUAI · Lomonosov Moscow State University · Weizmann Institute of Science · Institute for Advanced Study, Princeton · London Institute for Mathematical Sciences
提出 ARMT 训练方案，在长文本任务中用 30% 更少计算量保持性能并泛化到更长序列
📌 工作参考价值（4 点）
- 长序列用户行为建模：在电商推荐中，可利用 ARMT 以恒定内存处理超长用户交互序列（如跨月行为），突破原生 Transformer 的上下文限制，且 FLOPs 降低 30%，适合线上 RT 服务。
- 合成数据与课程学习策略：面向特定领域的 LLM 微调（如商品长描述生成、多文档促销文案），可借鉴其合成长文本 + 逐步延长的课程学习方案，稳定提升长上下文泛化。
- 选择性记忆集成：在推荐精排或生成式推荐模型中，仅部分中间层插入关联记忆模块，平衡额外计算开销与长程依赖捕捉，可作为模型架构渐进增强的思路。
- 分布外长度泛化：训练时使用有限长度数据，推理时自动泛化到更长序列，对广告竞价中实时拼接的多源长特征流处理有参考意义。